Carlos E. Jiménez

概述

Carlos E. Jiménez 是 SWE-bench（Software Engineering Benchmark）评测框架的提出者之一，于 2023 年首次发表该框架。

关键内容

1. SWE-bench 提出者：于 2023 年提出 SWE-bench 评测框架，该框架测试 AI 系统能否解决真实 GitHub Issue，要求生成能通过测试套件的代码补丁。

2. SWE-bench Verified：参与设计了 SWE-bench Verified 子集，经人工验证确保测试套件能可靠区分正确/错误解决方案，成为 AI 编码能力评估的黄金标准。

3. 评测设计贡献：SWE-bench 的设计让它比代码补全更接近真实软件工程工作——使用真实开源仓库（Django、Flask、Sympy 等）、真实用户报告的 Bug、真实测试用于验证。

来源

• raw/articles/ai-engineering/anthropic-engineering/claude-engineering/07_swe_bench_sonnet.md — SWE-bench 评测背景介绍

相关

• SWE-bench — part_of（Carlos E. Jiménez 是 SWE-bench 的提出者之一）